Appearance
Racialization of the democratic peace in foundational embedding models
DisciplineInterdisciplinary
MethodComputational
Tagsdata · content analysisdemocratic peaceembedding modelsmeasurement validitymethod · embeddingmethod · nlpracialization
Summary
Problem: 本文针对Rathbun、Parker和Pomeroy（2024）在《民主和平的种族化》研究中使用的嵌入分析方法提出质疑。RPP使用GloVe词向量，通过平均词向量来估计“民主”“和平”“白人”“非白人”等构念，并计算余弦相似度以检验民主和平效应是否与种族/民族中心主义动机相关。作者指出该方法存在词向量空间非线性导致平均向量可能偏离数据分布、静态词向量无法处理一词多义、以及自助法置信区间因词表过小而不可靠等问题。此外，Tomz和Weeks（2026）使用替代词表复制RPP研究却得到矛盾结果，这一张力亟需解决。 Approach: 作者提出一种改进方法：不再对词向量进行平均，而是直接使用LLM-based基础嵌入模型（如OpenAI、Google、SentenceTransformers等18种模型），将“白人民主”“非白人民主”作为短语直接编码，然后计算所有成对相似度的平均值。作者还进行了多项消融研究，包括使用RPP原始方法但替换为嵌入模型、使用Tomz和Weeks的替代词表、以及忽略民主词项仅比较种族词项与和平词项的相似度，以定位结果分歧的根源。 Finding: 在18个基础嵌入模型中，16个模型（使用RPP词表）和14个模型（使用Tomz和Weeks词表）均显示出“白人民主”与“和平”的语义相似度高于“非白人民主”与“和平”的相似度，支持了RPP的种族化假说。消融研究发现，当使用Tomz和Weeks词表并采用RPP的原始平均方法时，方向性趋势消失，与Tomz和Weeks的结论一致；而当使用新方法时趋势恢复。进一步消融表明，词向量平均化是导致分歧的根源——白人与非白人估计向量本身与和平向量的相似度差异可能被平均操作放大或扭曲。 Significance: 本文不仅为民主和平的种族化假说提供了跨模型、跨词表的稳健证据，更重要的是为政治学中的嵌入分析提供了方法论指导：应避免对词向量进行平均、应优先使用短语级嵌入、应通过相对比较而非绝对数值进行解释。这为未来在政治学中使用嵌入分析的研究者提供了重要的实践参考。
Theoretical Framework
- Theoretical tradition: 本文属于计算社会科学传统，将自然语言处理技术应用于政治学理论检验，具体属于复制研究（replication study）范畴。
- Prior theories built upon: 民主和平理论（democratic peace theory）；Tomz和Weeks（2013）关于个体层面民主和平效应的研究；Rathbun等（2024）关于民主概念种族化的假说；Caliskan等（2017）的WEAT方法；Garg等（2018）和Kozlowski等（2019）的词嵌入文化关联研究。
- Causal mechanism: 如果民主概念在公众认知中与“白人性”相关联，那么当民主被“非白人化”时，民主与和平之间的关联应减弱；反之，当民主被“白人化”时，关联应增强。这一机制通过词嵌入的语义相似度来量化。
- Key assumptions: 训练语料库反映了被研究的人类认知模式；嵌入模型中的语义相似度可以代理公众的认知关联；基础嵌入模型虽在通用语料上训练，但能捕捉政治语境中的语义关系。
- Theoretical move: 本文应用并检验现有理论——具体而言，是对RPP假说的复制验证，同时批判性修正其方法论基础。作者不挑战种族化假说本身，而是质疑其证据的可靠性，并通过改进方法提供更稳健的检验。
- Scope conditions: 研究基于英语语料训练的嵌入模型，结论可能不适用于非英语语境；模型训练数据来自通用语料而非政治专门语料，但作者引用Rodriguez和Spirling（2022）论证通用模型在政治任务中表现不逊于专门模型。
Research Design
本文为观察性计算研究（observational computational study），属于复制研究设计。分析单元为词/短语对（word/phrase pairs）。关键自变量为“民主”词项与“种族”词项的组合方式（白人民主 vs. 非白人民主），因变量为这些组合与“和平”词项之间的平均余弦相似度。操作化方式：使用RPP原始词表（D={democracy, democratic, democratically, elect, elections, elected}，P={peace, harmony, agreement, diplomacy}，W={white, western, caucasian, european}，W̄={non-white, non-western, non-caucasian, non-european}）以及Tomz和Weeks的替代词表。新方法中，种族词项与民主词项通过笛卡尔积组合成短语（如“western democracy”），直接编码为嵌入向量，然后计算与和平词项的所有成对相似度并取平均。
Data & Sample
N=18个基础嵌入模型。模型来源包括：Google（text-embedding-004, embedding-001）、OpenAI（text-embedding-3-small, text-embedding-3-large, text-embedding-ada-002）、SentenceTransformers库推荐模型（如all-mpnet-base-v2, multi-qa-mpnet-base-dot-v1, all-distilroberta-v1等）。这些模型在通用多领域语料上预训练，部分为多语言模型。数据收集方式为使用第三方预训练模型进行推理，无额外数据采集。时间跨度为2025-2026年（论文接收时间）。数据来源为公开可用的预训练嵌入模型API或开源模型库。
Analytical Strategy
主要分析策略为计算平均余弦相似度并比较“白人民主-和平”与“非白人民主-和平”的差异。具体步骤：（1）对每个模型，计算民主-和平基线相似度sd；（2）计算白人民主-和平相似度sw和非白人民主-和平相似度s̄w；（3）将sw和s̄w按公式s*=(s-sd)/sd进行归一化，以便跨模型比较；（4）通过可视化比较各模型的归一化值方向。作者还进行了单侧Welch t检验（结果在补充材料中），但承认相似度值可能不满足独立性假设。消融研究包括：（a）使用RPP原始平均方法但替换为嵌入模型；（b）使用Tomz和Weeks词表配合RPP方法；（c）忽略民主词项，仅比较种族词项与和平词项的相似度。未提及传统意义上的控制变量或额外稳健性检验。
Results & Findings
- 主要发现1：使用RPP词表和新方法，18个模型中有16个显示“白人民主”与“和平”的相似度高于“非白人民主”与“和平”的相似度。差异幅度从明显到微小不等。这支持了RPP的种族化假说，表明民主概念与白人性之间的关联确实影响民主与和平的语义关联。
- 主要发现2：使用Tomz和Weeks的替代词表，18个模型中有14个仍显示相同方向性趋势，但差异幅度较RPP词表更小。这一结果与Tomz和Weeks的结论相矛盾，但支持RPP假说，表明词表选择不是决定结果方向的关键因素。
- 主要发现3（消融研究） ：当使用Tomz和Weeks词表并采用RPP的原始平均方法时，方向性趋势变得混合，不再一致支持种族化假说。这定位了分歧的根源在于词向量平均化方法，而非嵌入模型的选择。
- 主要发现4（消融研究） ：忽略民主词项后，白人和非白人估计向量与和平向量的相似度差异不大，且均不高于民主-和平基线。但当将种族向量与民主向量平均后，新向量与和平的相似度显著高于其组成向量，表明三个向量大致共面且和平向量近似为角平分线。此外，白人估计向量本身比非白人估计向量更接近和平向量，这一差异可能被平均操作放大并影响了RPP的结果。
- 意外发现：使用RPP原始方法但替换为嵌入模型时，归一化相似度值出现整体水平位移，表明绝对相似度值对方法选择敏感，但白人与非白人之间的相对偏移保持稳定。这提示嵌入分析应注重相对比较而非绝对数值解释。
Limitations
作者承认以下局限：（1）使用不同LLM-based嵌入模型并未解决自助法置信区间的问题，因为模型本身不提供统计不确定性估计；（2）相似度值可能不满足独立性假设，t检验结果需谨慎解读；（3）第三方嵌入模型的训练数据缺乏透明度，可能编码了不同文化的偏见并泄漏到英语向量中；（4）嵌入模型是“黑箱”，难以判断其输出偏差的来源；（5）作者仅提供“弱证据”表明词向量平均化是有问题的，而非决定性证据；（6）研究仅基于英语语料，多语言模型的跨文化泛化可能引入额外偏差。
Key Contributions
- 对RPP的嵌入分析方法进行了系统性批判，识别出词向量空间非线性、静态词向量多义性、自助法样本不足三大方法论问题
- 提出了一种避免词向量平均化的新方法，利用LLM-based嵌入模型直接编码短语级嵌入，并采用成对相似度平均
- 通过18种基础嵌入模型的跨模型复制，为民主和平的种族化假说提供了更稳健的证据
- 通过消融研究定位了RPP与Tomz和Weeks结果分歧的根源在于词向量平均化方法
- 揭示了嵌入分析中绝对相似度值对方法选择敏感、但相对比较更稳健的重要实践洞见
- 为政治学研究者提供了嵌入分析的方法论指南，包括避免平均化、使用短语级嵌入、注重相对比较等建议
Key Claims
"My replication results agree with their findings that the democratic peace effect is racialized, that is, it is associated with racial and ethnocentric motivations." (Abstract)
"The source of the tension between my finding and Tomz and Weeks seems to be in the averaging of word embeddings, not in the use of foundational embedding models." (Section 4.1)
"This suggests that interpreting the absolute similarity values when performing embedding analysis carries risks of making overreaching interpretations, as small changes in the methodology can give rise to wide shifts in the values." (Section 4.1)
"The results from this ablation study serve as weak evidence that generating an estimate by taking the average of word embeddings is flawed." (Section 4.2)
"It is therefore important to be mindful of this shortcoming and acknowledge the black-box nature of embedding models." (Section 5)